本文提出了一种用于内窥镜仿真系统中的可视化的现实图像生成方法。在许多医院进行内窥镜诊断和治疗。为了减少与内窥镜插入相关的并发症，内窥镜仿真系统用于内窥镜插入的训练或排练。然而，电流模拟系统产生非现实的虚拟内窥镜图像。为了提高仿真系统的值，需要提高其生成的图像的现实。我们提出了一种用于内窥镜仿真系统的现实图像生成方法。通过使用来自患者的CT体积的体积渲染方法来生成虚拟内窥镜图像。我们使用虚拟到实图像域翻译技术改善虚拟内窥镜图像的现实。图像域转换器实现为完全卷积网络（FCN）。我们通过最小化循环一致性损失函数来训练FCN。使用未配对的虚拟和真实内窥镜图像训练FCN。为了获得高质量的图像域翻译结果，我们执行将图像清理到真实内窥镜图像集。我们测试了使用浅U-Net，U-Net，Deep U-Net和U-Net作为图像域转换器的剩余单元。具有剩余单位的深U-Net和U-Net产生了非常现实的图像。
translated by 谷歌翻译
我们通过使用多尺度边缘损耗，通过使用域改性和深度估计来提出一种从单次单眼镜片图像中的深度估计方法。我们采用了两步估计过程，包括来自未配对数据和深度估计的兰伯语表面平移。器官表面上的纹理和镜面反射降低了深度估计的准确性。我们将Lambertian表面翻译应用于内窥镜图像以消除这些纹理和反射。然后，我们通过使用完全卷积网络（FCN）来估计深度。在FCN的训练期间，改善估计图像和地面真理深度图像之间的对象边缘相似性对于获得更好的结果是重要的。我们介绍了一个Muti-Scale边缘损耗功能，以提高深度估计的准确性。我们定量评估了使用真实的结肠镜片图像的所提出的方法。估计的深度值与真实深度值成比例。此外，我们将估计的深度图像应用于使用卷积神经网络自动解剖学位置识别的结肠镜图像。通过使用估计的深度图像，网络的识别精度从69.2％提高到74.1％。
translated by 谷歌翻译